Heiko Herrlich, huấn luyện viên của đội U-18 Đức, triệu tập Holtby lên tuyển vào năm 2007.

Holtby là một thành viên của đội U18, U19 Đức, anh xuất hiện lần đầu cho U19 vào tháng 9 năm 2008 và đã được giới hạn 12 lần tổng thể. Anh ghi bàn thắng quốc tế đầu tiên của mình cho đội tuyển U19 Đức ngày 11 tháng 9 năm 2008 khi đấu với Litva vào một chiến thắng 5-0.

Trong tháng 9 năm 2009 huấn luyện viên thanh niên Đức, Horst Hrubesch, thông báo rằng Holtby sẽ chơi ở World Cup U20 ở Ai Cập. Anh đã ghi được hai bàn thắng trong giải đấu. Một trong số đó là chống lại Brasil ở vòng tứ kết.

Ngày 29 tháng 3 năm 2011, Holtby là đội trưởng đội U-21 Đức, và ghi được hai bàn thắng trong một trận giao hữu quốc tế với Ý.

Khi Holtby được triệu tập vào đội tuyển quốc gia ngày 7 tháng 6 năm 2011, anh xuất hiện lần đầu tiên tại vòng loại Euro 2012 gặp Azerbaijan.